1장. 파운데이션 모델을 활용한 AI 애플리케이션 입문

출처 — Chip Huyen, 『AI 엔지니어링』(한국어판), 1장 (pp. 32~85) 한 줄 요약 — 자기지도학습으로 언어 모델이 거대해지고, 거기에 멀티모달이 더해져 '파운데이션 모델'이 되었으며, 이 모델 위에 애플리케이션을 만드는 일이 'AI 엔지니어링'이라는 분야로 자리 잡았다. 이 장은 그 전체 그림을 개요로 훑는다.

학습 목표

이 장을 끝내면 다음을 할 수 있다.

• 언어 모델이 LLM → 파운데이션 모델로 진화한 과정을 자기지도학습·멀티모달 관점에서 설명한다.
• 자기회귀 언어 모델과 마스크 언어 모델의 차이를 예시로 구분한다.
• AI 엔지니어링과 ML 엔지니어링의 핵심 차이(무게중심 계층)를 비교한다.
• AI 엔지니어링 스택의 3계층과 각 계층의 역할을 설명하고, 파운데이션 모델 등장 후 변화한 지점을 분석한다.
• 파운데이션 모델 기반 애플리케이션의 8가지 활용 사례를 분류하고 기업용 애플리케이션 기획의 핵심 4단계를 적용한다.

전체 흐름도

이 장의 핵심은 "모델이 어떻게 발전했고, 그 위에서 무엇을 만드는가" 다.

[ 언어 모델 (LM) — 1950년대부터 ]
       │  자기지도학습 + 규모 확장 (데이터 · 컴퓨팅 · 파라미터)
       ▼
[ 대규모 언어 모델 (LLM) ]
       │  멀티모달 통합 (텍스트 + 이미지 · 음성 · 영상 · 3D)
       ▼
[ 파운데이션 모델 (FM) ]
       │  API 로 누구나 활용 가능
       │  세 성장 요인: ① 범용 AI 능력 ② 투자 증가 ③ 낮아진 진입장벽
       ▼
[ AI 엔지니어링 ]  ← 이 책의 주제 (모델 "활용")
       │
       ├─ 애플리케이션 개발  (프롬프트 · RAG · 평가 · UI)   ← 무게중심
       ├─ 모델 개발          (모델링 · 파인튜닝 · 추론 최적화 · 데이터셋 엔지니어링)
       └─ 인프라             (서빙 · 컴퓨팅 · 모니터링)

  활용 사례 (8가지): 코딩 · 이미지·영상 · 글쓰기 · 교육 · 대화형봇 · 정보집계 · 데이터체계화 · 워크플로자동화
  기획 흐름:  활용 사례 평가 → 기대치 설정 → 마일스톤 → 유지보수
  핵심 긴장:  "데모는 쉽다  vs  수익 제품은 어렵다"  → 나머지 장이 이 간극을 메움

0. 사전 필수 용어

참고 — 이 장의 용어가 낯설면 선수지식 책(선형대수·신경망·자연언어)을 먼저 보면 좋다.

• 파운데이션 모델(Foundation Model) — 방대한 데이터로 미리 학습되어 여러 작업에 두루 쓰이는 거대 모델. 특정 작업용 모델(감정 분석·스팸 탐지)에서 '범용 모델'로 전환하는 것이 핵심 의미다.
• 언어 모델(Language Model, LM) — 주어진 컨텍스트에서 다음 단어(토큰)가 나타날 확률을 인코딩하는 모델. 1950년대부터 존재. 클로드 섀넌의 1951년 논문 Prediction and Entropy of Printed English 이 초기 이론적 토대.
• 토큰(Token) — 언어 모델이 다루는 기본 단위. 문자·단어·단어의 일부(-tion 등)가 될 수 있다. 책 집필 당시 기준 모델은 100토큰 ≈ 75단어. 모델이 다룰 수 있는 전체 토큰 집합을 '어휘(Vocabulary)'라 한다.
• 자기지도학습(Self-supervised Learning) — 입력 데이터에서 레이블을 스스로 추론하는 학습 방식. 'I love street food'라는 문장 하나에서 6개의 (입력, 출력) 학습 샘플이 자동 생성된다. 이것이 인터넷 규모의 데이터로 LLM을 학습할 수 있게 한 핵심이다.
• 멀티모달(Multimodal) — 텍스트뿐 아니라 이미지·음성·영상·3D 에셋·단백질 구조 등 여러 데이터 형태를 함께 처리. 멀티모달 생성 모델은 대규모 멀티모달 모델(LMM)이라고도 한다.
• AI 엔지니어링(AI Engineering) — 이미 학습된 파운데이션 모델 위에 애플리케이션을 만드는 일. ML 엔지니어링(모델 직접 학습)과 구분된다. 오픈AI의 CEO 샘 올트먼은 "대다수에게 가장 큰 기회는 모델을 특정 애플리케이션에 적용하는 것"이라 말했다.
• 자기회귀 언어 모델(Autoregressive LM) — 이전 토큰들만 보고 다음 토큰을 예측. 텍스트 생성의 대세. 마스크 언어 모델과 대비.
• 마스크 언어 모델(Masked LM) — 앞뒤 컨텍스트를 모두 활용해 빈칸을 채움. BERT가 대표. 감정 분석·텍스트 분류·코드 디버깅에 주로 사용.
• 파인튜닝(Fine-tuning) — 이미 학습된 모델 가중치를 추가로 학습해 특정 작업에 맞게 조정. 프롬프트 엔지니어링(가중치 변경 없음)과 대비.
• 환각(Hallucination) — 모델이 사실이 아닌 내용을 그럴듯하게 생성하는 현상. 데모→제품 간극의 핵심 원인 중 하나.

1. AI 엔지니어링의 부상

1.1 언어 모델에서 대규모 언어 모델로

언어 모델은 1950년대부터 존재했다. 셜록 홈즈 이야기(1905)에도 영어의 통계적 특성(E가 가장 흔한 글자)을 활용한 추론이 등장하고, 클로드 섀넌이 2차 세계대전 중 언어의 엔트로피를 연구했다.

자기지도학습이 규모 확장을 가능하게 한 이유. 전통적인 지도 학습은 레이블링 비용이 천문학적이다. 이미지넷 100만 장에 레이블 하나씩 붙이는 데 5만 달러, 두 명이 교차 검증하면 10만 달러, 범주를 100만 개로 확장하면 5천만 달러까지 불어난다. 반면 자기지도학습은 데이터 자체가 정답이 된다. 'I love street food'라는 문장 하나에서 아래처럼 6개의 학습 샘플이 자동으로 만들어진다.

입력 시퀀스               → 출력 (다음 토큰)
<BOS>                    → I
<BOS>, I                 → love
<BOS>, I, love           → street
<BOS>, I, love, street   → food
<BOS>, I, love, street, food → <EOS>

덕분에 인터넷의 책·블로그·뉴스·댓글 등 수조 개의 텍스트를 그대로 학습 데이터로 쓸 수 있었고, 모델 크기와 데이터 양을 함께 키우자 성능이 급격히 좋아졌다.

참고 — 자기지도학습 vs 비지도학습. 자기지도학습은 입력 데이터에서 레이블을 추론하지만, 비지도학습은 레이블이 전혀 필요하지 않다.

모델 크기의 상대성. 최초 GPT(2018)는 파라미터 약 1억 1천만 개로 '대규모'였으나, GPT-2(2019)가 15억 개로 출시되자 즉시 '소규모'가 됐다. 책 집필 시점 기준 1,000억 개 파라미터가 대규모 기준. 더 큰 모델은 왜 더 많은 데이터가 필요한가? 모델 용량이 클수록 성능을 극대화하려면 그만큼 많은 학습 데이터가 필요하기 때문이다.

두 가지 언어 모델 유형 비교.

언어 모델은 '완성 기계(completion machine)'다. '사느냐 죽느냐'를 입력하면 ', 그것이 문제로다'로 완성한다. 번역('How are you in French is ...' → 'Comment ca va'), 스팸 분류, 코딩도 완성으로 처리한다. 완성 결과는 확률 기반 예측이므로 정확성이 보장되지 않는다 — 이것이 AI의 매력이자 한계다.

1.2 대규모 언어 모델에서 파운데이션 모델로

사람은 언어뿐 아니라 시각·청각·촉각으로 세상을 인식한다. AI가 실제 세상에서 유의미하게 작동하려면 글자 이상의 데이터를 처리해야 한다. 이에 따라 LLM에 이미지·음성·영상·3D 에셋·단백질 구조 등을 통합한 것이 파운데이션 모델이다.

멀티모달 자기지도학습 예시 — CLIP(OpenAI, 2021). 각 이미지에 수동 레이블을 붙이는 대신, 인터넷에서 함께 발견되는 (이미지, 텍스트) 쌍을 수집했다. 그 결과 비용 없이 이미지넷보다 400배 큰 4억 쌍 데이터셋을 만들어 추가 학습 없이 여러 이미지 분류 작업에 일반화할 수 있었다. CLIP은 임베딩 모델(생성 모델 아님)로, Flamingo·LLaVA·Gemini 같은 생성형 멀티모달 모델의 핵심 구성 요소가 됐다.

파운데이션 모델의 장점 vs 작업 특화 모델의 장점.

• 파운데이션 모델: 범용 능력, 10개 예시 + 주말 하루면 조정 가능 (vs 처음부터 학습: 100만 예시 + 6개월)
• 작업 특화 모델: 더 작아서 빠르고 저렴, 특정 작업 성능 극대화

'구매 vs 직접 개발'은 팀이 스스로 결정할 전략 문제다.

1.3 파운데이션 모델에서 AI 엔지니어링으로

AI 엔지니어링이 빠르게 성장한 세 가지 요인:

요인 1 — 범용 AI 능력. 파운데이션 모델은 기존 작업을 더 잘할 뿐 아니라, 이전에 불가능하다고 여겨졌던 작업을 가능하게 했다. AI가 사람만큼 글을 쓸 수 있어 커뮤니케이션 관련 작업이 대부분 자동화 대상이 됐다.

요인 2 — AI 투자 증가. 챗GPT 성공 이후 벤처캐피털·기업 투자가 급증했다. 골드만삭스는 2025년까지 AI 투자가 미국 1,000억 달러, 전 세계 2,000억 달러에 달할 것으로 예측했다. S&P 500 기업 중 AI를 언급한 기업 비율이 2022년 대비 2023년에 3배 증가했다. AI를 언급한 기업 주가 상승률은 4.6% (vs 미언급 기업 2.4%).

요인 3 — 낮아진 진입장벽. 서비스형 모델(Model as a Service) 방식으로 단일 API 호출만으로 강력한 모델에 접근할 수 있게 됐다. 또한 AI가 코드를 대신 작성해주어 프로그래밍 배경이 없어도 아이디어를 제품으로 빠르게 전환할 수 있다.

왜 'AI 엔지니어링'이라는 용어인가? ML 엔지니어링·MLOps·AIOps·LLMOps 등 여러 용어 중 저자는 설문 결과(20명 중 다수가 선호)에 따라 AI 엔지니어링을 선택했다. ML 엔지니어링은 모델 개발에 방점이 있어 활용 중심의 이 분야를 충분히 설명하지 못하고, 'Operations' 계열 용어는 운영보다 엔지니어링 자체에 집중하려는 의도와 맞지 않는다.

성장 지표. 오픈 소스 AI 엔지니어링 도구 4개(AutoGPT, LangChain, Stable Diffusion WebUI, Ollama)가 불과 2년 만에 깃허브에서 비트코인보다 더 많은 별을 획득했다. 2023년 8월 링크드인 설문에 따르면 '생성형 AI·GPT·프롬프트 엔지니어링' 관련 용어를 프로필에 추가하는 전문가 수가 매달 평균 75%씩 증가했다.

2. 파운데이션 모델 활용 사례

저자는 50개 기업 인터뷰, 100개 이상 사례 연구, 깃허브 별 500개 이상 오픈소스 AI 앱 205개를 8개 그룹으로 분류해 분석했다.

2.1 코딩 (오픈소스 분포 30.4% — 최대)

코딩은 여러 설문에서 가장 인기 있는 활용 사례. 깃허브 코파일럿은 출시 2년 만에 연간 반복 매출 1억 달러 돌파. 맥킨지 연구에 따르면 AI는 코드 문서화 생산성 45~50%, 코드 생성·리팩터링 20~30% 향상. 단, 매우 복잡한 작업에서는 효과가 10% 미만.

특화 도구 예시: 자연어→코드 변환(DB-GPT, SQL Chat), 스크린샷→웹사이트 코드(screenshot-to-code), 프로그래밍 언어 번역(GPT-Migrate), 커밋 메시지 자동 작성(AI Commits), 테스트 생성(PentestGPT).

AI가 소프트웨어 엔지니어를 대체할까? 젠슨 황(엔비디아 CEO)과 앤디 재시(AWS CEO)는 개발자 역할이 변화할 것이라고 말했다. 하지만 '역할 변화'이지 '종말'은 아니다. AI는 백엔드보다 프런트엔드 개발에서 더 뛰어난 성능을 보인다.

2.2 이미지·동영상 제작 (오픈소스 분포 12.7%)

AI는 확률적 특성 덕분에 창의적 작업에서 뛰어나다. 미드저니는 출시 1년 반 만에 연간 반복 수익 2억 달러 달성. 2023년 12월 기준 애플 앱스토어 그래픽·디자인 무료 앱 상위 10개 중 절반이 이름에 'AI'를 포함. 기업은 광고·마케팅에 AI를 빠르게 도입 중 — AI로 여러 광고를 생성·테스트해 가장 효과적인 것을 쉽게 찾을 수 있다.

2.3 글쓰기 (오픈소스 분포 3.4%)

MIT 연구(453명, 대학 교육 받은 전문가): 챗GPT 사용 집단은 글쓰기 시간 40% 감소, 품질 18% 향상. 특히 글쓰기 능력이 부족한 사람에게 더 도움이 되어 작업자 간 격차를 줄여준다. 다크 사이드: AI 생성 저품질 콘텐츠 공장이 SEO 최적화로 검색 순위를 높여 광고 수익을 버는 현상. 뉴스가드(2023)는 유명 브랜드 141개의 광고를 AI 생성 저품질 사이트에서 거의 400개 발견했다.

2.4 교육 (오픈소스 분포 1.5%)

뉴욕시·LA 교육청이 챗GPT를 금지했다가 몇 달 후 번복한 사례. 저자 의견: AI를 금지하기보다 활용하면 학습 속도를 크게 높일 수 있다. 듀오링고 연구(2022): 강좌 제작 4단계(커리큘럼 설계→원본 콘텐츠 생성→연습 문제 생성→수업 개인화) 중 AI 혜택이 가장 큰 단계는 4단계(수업 개인화). 치그(Chegg)의 사례: 학생 과제 지원 회사로 챗GPT 출시 후 주가가 28달러(2022.11)→2달러(2024.9)로 폭락.

2.5 대화형 봇 (오픈소스 분포 26.5% — 2위)

정보 검색·개념 설명·브레인스토밍·AI 친구·심리상담·디지털 연인 등 다양한 용도. 기업에서 가장 인기 있는 것은 고객 지원 봇. AI 기반 스마트 NPC(Non-Player Character)는 게임 역학을 바꿀 수 있다. 대화형 봇 그룹으로 사회를 시뮬레이션해 사회 역학 연구도 가능(Park et al., 2023).

2.6 정보 집계 (오픈소스 분포 12.7%)

세일즈포스 2023 연구: 생성형 AI 사용자의 74%가 복잡한 아이디어를 추출하고 정보를 요약하는 데 사용. 인스타카트 사내 프롬프트 마켓플레이스에서 가장 인기 있는 템플릿: '회의록·이메일·슬랙 대화 → 사실·미해결 질문·실행 항목으로 요약' ('빠른 항목별 정리').

2.7 데이터 체계화 (오픈소스 분포 1.5%)

비정형·반정형 데이터(사진·영상·로그·PDF·계약서)를 나중에 검색할 수 있게 체계화. 간단한 활용: 신용카드·운전면허증·영수증·이메일에서 자동 정보 추출. 복잡한 활용: 계약서·보고서·차트에서 데이터 추출. 지능형 데이터 처리(IDP) 산업은 연간 32.9% 성장, 2030년까지 128억 1천만 달러 시장 예상.

2.8 워크플로 자동화 (오픈소스 분포 11.3%)

소비자: 레스토랑 예약·환불 요청·여행 계획·양식 작성. 기업: 잠재 고객 관리·청구서 발행·비용 정산·데이터 입력. AI 에이전트는 스스로 계획을 세우고 도구(검색 엔진·스마트폰·캘린더)를 사용해 다단계 작업을 수행한다. 에이전트는 6장의 중심 주제.

기업 도입 패턴. 2024년 a16z 성장 보고서: 기업들은 외부 지향(고객 지원 챗봇)보다 내부 지향(사내 지식 관리) 앱을 더 빠르게 도입. 이유: 데이터 프라이버시·규정 준수·위험 최소화. 실험 중 기업의 53% 이상이 실제 운영 환경에 배포한 활용 사례: 텍스트 요약, 사내 지식 관리.

3. AI 애플리케이션 기획

파운데이션 모델로 멋진 데모를 만드는 것은 쉽다. 하지만 수익성 있는 제품을 만드는 것은 어렵다.

3.1 활용 사례 평가

가장 먼저 할 질문: 왜 이 AI 애플리케이션을 만드는가?

기업이 AI를 도입하는 이유 3단계(위험 높은 순):

1. 비즈니스 연속성 — AI를 가진 경쟁사에 밀려 생존을 위협받는 경우. 2023년 가트너 연구에서 7%가 이를 이유로 꼽았다. 금융 분석·보험·데이터 처리·광고·웹 디자인 분야에서 흔하다. (참고: GPTs are GPTs, Eloundou et al., 2023 — AI 노출도 100%인 직업: 수학자·세무사·금융 퀀트·작가·웹 디자이너)
2. 이익·생산성 증대 — 카피라이팅 개선·고객 지원·영업 리드 생성 등에서 AI가 도움이 되는 경우.
3. 기술 흐름 팔로우 — 구체적 활용법은 불확실하지만 뒤처질까 봐 두려운 경우. 코닥·블록버스터·블랙베리를 떠올리면 이해가 쉽다. R&D 여유가 있으면 나쁘지 않은 선택.

직접 만들 것인가, 기존 솔루션을 구매할 것인가? AI가 비즈니스 생존에 결정적이면 내부 개발이 낫다. 수익·생산성 목적이라면 기존 솔루션 구매가 시간과 비용을 아끼면서 더 좋은 성능을 제공할 수 있다.

애플리케이션에서 AI와 사람의 역할 (Apple 프레임워크 기반).

마이크로소프트의 크롤-워크-런(Crawl-Walk-Run) 프레임워크: ① 크롤 = 사람 참여 필수 ② 워크 = 내부 직원과 AI 직접 상호작용 ③ 런 = 외부 사용자와 AI 직접 상호작용.

AI 제품 방어 가능성(Defensibility). 진입 장벽이 낮은 것은 축복이자 저주다. AI 분야 경쟁 우위 3가지: ① 기술력 (파운데이션 모델 공유로 차별화 어려움) ② 유통력 (대기업 유리) ③ 데이터 우위 (스타트업이 시장에 먼저 진출해 사용 데이터를 수집하면 해자가 됨 — 데이터 플라이휠). 칸들리·메일침프·포토룸처럼 '큰 제품의 기능'으로 시작해 경쟁사를 뛰어넘은 스타트업 사례도 많다.

3.2 기대치 설정

성공을 어떻게 측정할 것인지 먼저 파악해야 한다. 고객 지원 챗봇 예시: - 자동화하려는 고객 메시지 비율은 얼마인가? - 챗봇이 얼마나 더 많은 메시지를 처리할 수 있어야 하는가? - 응답 속도는 얼마나 빨라야 하는가? - 인력은 얼마나 절감할 수 있는가?

최소 성능 기준 지표군: - 품질 지표 — 응답 품질 측정 - 지연 시간 지표 — TTFT(첫 토큰까지 걸리는 시간), TPOT(출력 토큰당 시간), 전체 지연 시간 - 비용 지표 — 추론 요청당 비용 - 기타 지표 — 해석 가능성, 공정성

3.3 마일스톤 계획

기존 모델 성능을 먼저 평가해야 한다. 기존 모델이 이미 30%를 처리할 수 있다면, 60% 목표 달성에 필요한 추가 노력이 절반으로 준다.

"데모 → 제품" 간극의 현실. 링크드인(2024) 사례: 원하는 경험의 80%를 달성하는 데 1개월, 95%를 넘어서는 데 추가 4개월 소요. "0에서 60은 쉽지만, 60에서 100은 매우 어렵다" (UltraChat 논문, Ding et al., 2023).

잘못된 예. "데모가 잘 되니 제품도 금방 완성될 것이다" → 실제로 데모는 주말, 제품은 몇 달~몇 년. 올바른 예. 초기 데모 성공을 과신하지 않고, 마지막 단계(60→100)의 어려움을 계획에 반영한다.

3.4 유지보수

AI 분야는 지난 10년 동안 믿을 수 없이 빠르게 움직였고 앞으로도 계속 빠를 것이다. AI 제품을 만든다는 것은 '총알 열차에 올라타겠다'는 뜻이다.

긍정적 변화 (하지만 적응이 필요): 컨텍스트 길이 증가, 모델 출력 개선, 추론 비용 감소. 모델 API 표준화로 모델 교체가 쉬워지고 있다.

어려운 변화: 규제(GDPR 준수 비용 90억 달러 추산, 2023년 10월 미국 행정명령으로 GPU 수출 제한). IP·저작권 규제는 아직 계속 바뀌고 있다.

치명적 변화: 서드파티 솔루션 의존 후 제공업체 폐업, 사내 개발 후 3개월 뒤 모델 제공업체가 가격을 절반으로 낮춰 역전 등.

4. AI 엔지니어링 스택

4.1 세 가지 계층

┌─────────────────────────────────────────────────┐
│         애플리케이션 개발 (Application Dev)        │
│  프롬프트 엔지니어링 / 컨텍스트 구성 / 평가 / AI 인터페이스 │
│  ← AI 엔지니어링의 무게중심 / 가장 빠른 성장       │
├─────────────────────────────────────────────────┤
│            모델 개발 (Model Dev)                 │
│  모델링·학습·파인튜닝 / 데이터셋 엔지니어링 / 추론 최적화   │
│  ← 전통 ML 엔지니어링과 가장 밀접                │
├─────────────────────────────────────────────────┤
│              인프라 (Infrastructure)              │
│       서빙 / 컴퓨팅·데이터 관리 / 모니터링          │
│  ← 변화 속도 가장 낮음 (핵심 요구사항 불변)         │
└─────────────────────────────────────────────────┘

2024년 3월 깃허브 별 500개 이상 AI 저장소 분석(총 920개): 2023년 가장 높은 증가율을 보인 범주는 애플리케이션과 AI 엔지니어링 도구. 인프라 성장은 상대적으로 미미했다 — 리소스 관리·서빙·모니터링 같은 핵심 인프라 요구사항은 불변이기 때문.

4.2 AI 엔지니어링 vs ML 엔지니어링

세 가지 핵심 차이:

차이 1 — 누가 모델을 학습하는가. ML 엔지니어링은 애플리케이션에 필요한 모델을 직접 학습. AI 엔지니어링은 다른 사람이 학습한 모델을 가져다 쓴다. → AI 엔지니어링은 모델링·학습보다 모델 조정(프롬프트 엔지니어링, 파인튜닝)에 집중.

차이 2 — 모델 규모. 파운데이션 모델은 더 크고 더 많은 컴퓨팅을 소비하며 지연 시간이 높다. → 추론 최적화 압박이 더 크다. 토큰당 10ms면 100토큰 출력에 1초, 인터넷 애플리케이션 기대 지연 100ms 달성이 큰 과제.

차이 3 — 개방형 출력. 폐쇄형 ML(스팸 탐지: '스팸/정상')은 정답 비교가 쉽다. 파운데이션 모델은 개방형 출력을 생성한다. 하나의 프롬프트에 무수히 많은 응답이 가능해 평가가 훨씬 어렵다. → 평가가 AI 엔지니어링에서 훨씬 더 큰 문제.

모델 조정 기법 두 종류.

모델 개발 세부 구성 — 전통 ML 엔지니어링 vs 파운데이션 모델 AI 엔지니어링.

사전 학습·파인튜닝·사후 학습의 차이.

• 사전 학습(Pre-training) — 모델을 처음부터 학습(가중치 무작위 초기화). InstructGPT 기준 전체 컴퓨팅·데이터 자원의 98%를 차지. 소수만 경험 가능한 기술.
• 파인튜닝(Fine-tuning) — 이미 학습된 모델을 추가 학습. 사전 학습보다 훨씬 적은 자원 필요.
• 사후 학습(Post-training) — 업계에서는 '누가 학습하는가'로 구분. 모델 제공업체가 하면 사후 학습, 애플리케이션 개발자가 하면 파인튜닝.

주의 — 프롬프트 엔지니어링을 '학습'이라 부르는 것은 잘못된 사용이다. 모델에게 컨텍스트로 무엇을 할지 가르치는 것은 프롬프트 엔지니어링이지, 기술적 의미의 학습이 아니다.

평가 사례 — 프롬프트 방식에 따른 성능 차이. 한 AI 회사가 2023년 말 자사 모델을 MMLU 벤치마크에서 경쟁 모델보다 우수하다고 주장했지만, 자사 모델에는 32번 추론 생성 후 다수결(CoT@32)을, 경쟁 모델에는 5-샷만 적용했다. 동일한 5-샷 조건으로 비교했을 때는 경쟁 모델 성능이 더 높았다. 이처럼 프롬프트 방식에 따라 결과가 크게 달라지므로 공정한 평가 기준 설정이 필수다.

4.3 AI 엔지니어링 vs 풀스택 엔지니어링

인터페이스 강조가 커지면서 AI 엔지니어링은 풀스택 개발에 더 가까워지고 있다. 전통 ML은 파이썬 중심이었지만, LangChain.js·Transformers.js·Vercel AI SDK 등 자바스크립트 API 지원이 늘어나고 있다.

워크플로 변화. 전통 ML 엔지니어링: 데이터 → 모델 → 제품. AI 엔지니어링: 제품 → 데이터 → 모델. 파운데이션 모델 덕분에 제품을 먼저 만들고, 가능성이 보일 때만 데이터와 모델에 투자하는 것이 가능하다. 빠르게 반복할 수 있는 사람에게 유리한 구조.

핵심 개념 정리

한 문장 요약 — 자기지도학습으로 탄생한 파운데이션 모델의 등장으로 '모델을 만드는(ML 엔지니어링)' 일과 '모델을 활용하는(AI 엔지니어링)' 일이 갈렸고, 이 책은 후자로 수익성 있는 제품을 만드는 방법을 다룬다.

실무 체크리스트

AI 애플리케이션을 기획할 때 점검할 것:

• [ ] 이 기능에 AI가 정말 필요한가? 단순 규칙 기반으로 충분하지 않은가?
• [ ] 만드는 이유가 명확한가? (비즈니스 연속성 / 이익·생산성 증대 / 기술 흐름 팔로우)
• [ ] AI가 이 앱에서 핵심적인가, 보완적인가? 역할에 따라 정확도 요구 수준이 달라진다.
• [ ] 반응형인가, 선제형인가? 선제형은 훨씬 높은 품질 기준을 요구한다.
• [ ] 모델의 한계(환각·지연·비용)를 이해관계자가 알고 있는가?
• [ ] 최소 성능 기준(품질·지연·비용)을 출시 전에 정의했는가?
• [ ] 데모 → 제품 마일스톤의 '마지막 단계 어려움'을 계획에 반영했는가?
• [ ] AI 제품의 방어 가능성(기술력·유통력·데이터 우위)을 분석했는가?
• [ ] 출시 후 모니터링·재평가·규제 변화 대응 계획이 있는가?
• [ ] 직접 학습(ML) 대신 활용(AI 엔지니어링)이 맞는 선택인가?

연습문제

1. 개념. 자기지도학습이 LLM의 규모 확장을 가능하게 한 이유를 레이블링 비용 관점에서 한 문단으로 설명하라. 'I love street food' 예시를 반드시 포함하라.
2. 구분. 자기회귀 언어 모델과 마스크 언어 모델의 차이를 예측 방향·대표 모델·주요 활용 세 축으로 비교하라.
3. 분석. AI 엔지니어링이 ML 엔지니어링과 다른 세 가지 차이를 나열하고, 이 차이가 '평가'의 중요성을 높이는 이유를 설명하라.
4. 적용. "사내 문서를 요약해 주는 봇"을 만들려 한다. Apple의 '핵심·보완·반응형·선제형·동적·정적' 프레임워크를 적용해 설계 결정 3가지를 서술하라.
5. 설계. 외부 API(파운데이션 모델)를 쓰는 스타트업이 집중해야 할 스택 계층과, 그 이유를 방어 가능성(데이터 우위·데이터 플라이휠) 관점에서 설명하라.

최신 동향 (2026-05 기준)

최신 동향 (검증 2026-05-21) — 책에 등장하는 모델명(2022~2024년 시점)은 역사적 사례로 인용된 것이다. 현재 권장 모델 세대는 각 제공자 공식 문서(Anthropic·OpenAI·Google AI)에서 확인하라. 추론(reasoning)·멀티모달·AI 에이전트가 기본 기능으로 자리잡는 추세다. 서비스형 모델 가격 경쟁이 심화되어 추론 비용이 계속 하락 중이다. (1장의 개념·발전 흐름 자체는 그대로 유효)

부록 A. 용어 사전

부록 B. 핵심 비교표

ML 엔지니어링 vs AI 엔지니어링

소비자용 vs 기업용 애플리케이션

오픈소스 AI 앱 205개 활용 사례 분포

AI 노출도 100% 직업 (Eloundou et al., 2023)

부록 C. 추천 참고 자료

공식 문서 (Tier 1, 생존 확인 2026-05-21)

본 책 연계 챕터

추가 자료

부록 D. 연습문제 풀이

1. (자기지도학습은 레이블링 병목을 제거해 인터넷 규모의 데이터를 그대로 학습 데이터로 쓸 수 있게 한다) 지도 학습에서는 각 예시에 사람이 레이블을 달아야 한다. 이미지넷 100만 장에 레이블 하나씩만 붙여도 5만 달러, 범주를 100만 개로 확장하면 5천만 달러가 든다. 반면 자기지도학습에서는 데이터 자체가 정답이다. 예를 들어 'I love street food'라는 문장 하나에서 (입력: ) → (출력: I), (입력: , I) → (출력: love) 등 6개의 학습 샘플이 자동으로 만들어진다. 덕분에 인터넷의 수조 개 텍스트를 별도 비용 없이 학습 데이터로 활용할 수 있어, 모델 크기와 데이터 양을 함께 키우는 규모 확장이 현실적으로 가능해졌다.

2. (자기회귀 LM은 이전 → 다음, 마스크 LM은 앞뒤 → 빈칸) 자기회귀 언어 모델(대표: GPT 계열)은 이전 토큰들만 보고 다음 토큰을 순차적으로 예측하므로 텍스트 생성에 최적화되어 오늘날 텍스트 생성의 대세다. 마스크 언어 모델(대표: BERT)은 앞뒤 컨텍스트를 모두 활용해 시퀀스 중간의 빈칸을 채우도록 학습하므로 감정 분석·텍스트 분류·코드 디버깅 같이 전체 컨텍스트 이해가 필요한 작업에 적합하다.

3. (AI 엔지니어링은 모델 조정, 더 큰 모델, 개방형 출력 세 가지 측면에서 ML 엔지니어링과 다르다) 첫째, ML 엔지니어링은 모델을 처음부터 학습하지만 AI 엔지니어링은 이미 학습된 모델을 조정(프롬프트·파인튜닝)한다. 둘째, 파운데이션 모델은 더 크고 더 많은 컴퓨팅을 소비해 추론 최적화 압박이 크다. 셋째, AI 엔지니어링의 모델은 개방형 출력을 생성한다. 폐쇄형(스팸/정상)은 예상 정답과 비교하면 되지만, 개방형은 하나의 프롬프트에 무수히 많은 응답이 가능해 완전한 정답 목록을 만들 수 없다. 이 개방성 때문에 평가가 훨씬 더 어려워지고, 어떤 조정 기법을 쓰느냐에 따라 결과가 크게 달라져 공정한 평가 기준 설정이 AI 엔지니어링의 핵심 과제가 된다.

4. (핵심·반응형·정적으로 설계하되, 초기에는 사람이 검토하는 구조로 시작한다) 사내 문서 요약 봇에서 AI 역할은 보완적(문서 관리 시스템은 봇 없이도 작동하지만, 봇이 있으면 검색 속도가 높아짐)이므로 초기 오류에 다소 관대할 수 있다. 반응 방식은 반응형(직원이 질의하면 요약을 반환)으로 설계해 지연 시간을 짧게 유지한다. 업데이트 방식은 정적(전 직원이 공유 모델 사용, 분기별 사내 문서 재인덱싱)으로 시작해 관리 복잡도를 낮춘다. 사람의 역할은 초기(크롤 단계)에 AI가 제안한 요약을 담당자가 검토하고, 수락률이 95% 이상이 되면 직접 배포(런 단계)로 전환하는 크롤-워크-런 프레임워크를 적용한다.

5. (애플리케이션 개발 계층에 집중하되, 데이터 플라이휠로 방어 가능성을 만든다) 외부 API를 쓰는 스타트업은 파운데이션 모델을 직접 학습하지 않으므로 모델 개발·인프라 부담이 적다. 기술력(파운데이션 모델 공유)과 유통력(대기업 우위)에서 차별화하기 어려우므로, 데이터 우위를 해자로 삼아야 한다. 먼저 시장에 진출해 사용자 행동 데이터를 수집하고, 이 데이터로 모델 조정을 개선하고, 개선된 제품이 더 많은 사용자를 끌어들이는 데이터 플라이휠을 만드는 것이 핵심 전략이다. 직접 학습이 불가하더라도 사용자 데이터에서 행동 패턴·제품 단점에 대한 통찰을 얻어 미래 데이터 수집과 모델 학습 방향을 결정할 수 있다.